从搜索引擎中隐藏我的暂存网站的最佳推荐方法是什么，我用Google搜索了一下，发现有些人说我应该放一个元标记，有些人说我应该在我的网站目录中放一个文本文件，我想知道标准方式。我目前的网站是在asp.net中，而我相信它一定是任何网站的通用方式，无论其编程语言如何。 最佳答案 使用robots.txt文件。看这里http://www.robotstxt.org/robotstxt.html 关于asp.net-如何完全隐藏搜索引擎的网站？，我们在StackOverflow上找到一个类似的问

这里有点SEO问题。我有一个包含大量页面和内容的网站。我知道每个页面上的很多内容都是相同的。我认为搜索引擎消除了页面内容的差异，以便它们可以推广正确的数据，但是当我查看google和bing中的摘要时，摘要显示了我的“反馈”block(这是我的位置只是征求反馈)。Yahoo(以及Facebook中的摘要)显示了我的搜索选项菜单。这些并不是真正让人想要点击页面的东西。所以我想知道最好的方法是从搜索引擎中隐藏此内容，还是提高应编入索引的其他内容的可见性。页面结构非常一致，所以我认为搜索机器人很容易挑选出这些东西，但显然不是。 最佳答案

有没有办法让JavaScript生成的内容可以被搜索引擎索引？我记得读过一些关于Google解析生成的站点地图的文章，但我在这里可能是错的。_L 最佳答案 我还记得在搜索jQuery的历史插件时读过类似的东西。您可以查看:http://googlewebmastercentral.blogspot.com/2007/11/spiders-view-of-web-20.html散列链接和实际href链接的解释听起来很正确。 关于javascript-使JavaScript生成的内容可以被搜

我正在rails中开发一个应用程序，它需要检查输入的网站是否生成了搜索引擎友好的URL。我想到的一个解决方案是使用nokogiri来解析网站的HTML并在链接标记中查找查找URL并查看它们是否对搜索引擎友好。是否有任何其他方法可以做到这一点？任何帮助都会非常有用。 最佳答案 这里有两个问题:您如何正式(以编程方式)定义“搜索引擎友好URL是什么”。我假设你已经有一些方法可以做到这一点。所以剩下...如何检查网站上的所有链接。所以对于(2)，我会看类似Anemone的内容这将使您轻松抓取完整的网站:AnemoneisaRubylibr

我一直认为AJAX驱动的内容对搜索引擎是不可见的。(即通过XMLHTTPRequest将内容插入到DOM中)例如，在这个站点中，浏览器通过AJAX请求加载主要内容:http://www.trustedsource.org/query/terra.cl...如果您在禁用Javascript的情况下查看此页面，主要内容区域将空白。但是，Google缓存会在AJAX加载后显示完整内容:http://74.125.155.132/search?q=cache:JqcT6EVDHBoJ:www.trustedsource.org/query/terra.cl+http://www.trusted

如果我的论坛站点有大量线程，搜索引擎机器人每次都会抓取整个站点吗？假设我的站点中有超过1,000,000个线程，每次机器人抓取我的站点时它们都会被抓取吗？或者它是如何工作的？我希望我的网站被编入索引，但我不希望机器人杀死我的网站!换句话说，我不希望机器人每次抓取我的网站时都一次又一次地抓取旧线程。另外，之前爬取的页面呢？机器人每次抓取我的网站时都会请求它们以确保它们仍在网站上吗？我问这个是因为我只链接到最新的线程，即有一个包含所有最新线程列表的页面，但我没有链接到旧线程，它们必须通过URL明确请求，例如http://example.com/showthread.aspx?threadi

有没有办法从搜索引擎抓取中排除ControllerAction？有没有MVC动词(Attribute)，可以加在action名称上面？我想从搜索引擎抓取中排除以下网址Home/Secret?type=1但是我希望这个可以被搜索引擎抓取Home/Search 最佳答案 我认为您需要动态生成一个robots.txt文件。您应该创建一个RobotController来提供robots.txt文件。CheckReferenceHere与上述链接相关的是一个关于允许.txt扩展名由操作提供服务的问题:https://stackoverflow

我想知道是否可以自己做同样的事情，或者搜索引擎自己做？我想添加一些链接，如下所示: 最佳答案 Google自行执行此操作，您所能做的就是(然后)通过Google网站站长工具删除一些链接。它们通常被命名为SiteLinks您可以在谷歌上搜索“如何获取站点链接GoogleSERP”等等-有数以千计的提示可以帮助Google前进。清晰的导航结构和内部链接结构以及一致的anchor文本当然有帮助。 关于web-如何使我的网站在搜索引擎结果中看起来像下图，我们在StackOverflow上找到一个

我如何判断谷歌机器人是否在读取我的javascript生成的内容？我有一个AJAX脚本，它可以在页面上动态生成一些文本...此内容不会因用户而改变，而只会因日期/时间而改变。我不确定如何判断谷歌是否看到了它。 最佳答案 搜索引擎机器人没有javascript，因此它们看不到任何通过AJAX等动态添加到您的页面的内容。在您的浏览器选项中，关闭Javascript并重新加载您的网站。他们只会看到其中的内容和链接。解决方案:在您的页面上，在纯HTML中放置一个指向页面的链接，该页面显示您的其余内容(您将通过AJAX加载的内容)，然后让Ja

如果我有2个域名指向同一个网站(例如:microsoft.com和microsoft.net都指向microsoft.com)，搜索引擎如何区分这两个网站是同一个网站而不是重复的内容？我的问题是因为我知道例如Google有一个重复内容过滤器，我想知道如何明确地说这两个域是相同的并且不是重复内容的网站。谢谢! 最佳答案 选择哪个作为主域，然后在另一个上实现301重定向。 关于asp.net-如何告诉搜索引擎两个域名是同一个网站？，我们在StackOverflow上找到一个类似的问题：